#Multimodal Search

3 篇

PailitaoMMSearch2.0 Technical Report: Scaling Generative Retrieval to Unified End-to-End Multimodal Search

拍立淘MMSearch2.0：统一端到端多模态生成式搜索技术报告

🧭 生成式检索 · Semantic ID · 多模态电商搜索 ★ 深度解读

Taobao & Tmall Group of Alibaba

直接由图像+自由文本生成商品Semantic ID，统一相似/编辑/搭配意图，上线拍立淘带来显著GMV提升

📌 工作参考价值（4 点）

可直接复用「Sample–Beam rollout」：RL 训练时采样 reasoning prefix，SID 部分用 beam search 生成，使训练 rollout 与线上 beam-decoding 对齐；做生成式推荐/搜索的 GRPO 时能有效减少 train-serve mismatch。
用「混合 reasoning budget SFT」把 No-think / Low-think / High-think 训进同一个模型，线上通过 system prompt 切换 think budget，无需为不同延迟要求训多个模型或加意图路由；适合在候选生成与复杂查询场景复用。
数据生产采用可组合工具链：Coarse-Filter、Fine-Filter、Query-Text-Gen、CoT-Gen、Quality-Control，并按 cold-start / real-traffic / continuous production 配置不同 workflow；新意图冷启动可先用 proxy 商品关系合成数据，上线后用真实流量回流清洗，再持续混入生产。
三层 hierarchical SID（每层 8192 codebook）+ 原生 VLM 直接 beam decode SID 作为检索结果，省去独立召回/排序和意图分类器；已有成熟召回排序链路时，可先作为候选召回源 interleave，A/B 验证后再扩大流量。

GenRec | 2026-10-27 | cs.IR | score 10/10

可控数据升格 + 联合 RL/在线蒸馏的长程多模态搜索智能体

🧭 多模态搜索 Agent 训练 ★ 深度解读

Peking University · HKUST(GZ) · Tsinghua University · The University of Hong Kong · Huawei Cloud BU

用可控问题升格与联合 RL/在线蒸馏，把易题变难、难轨迹变可学

📌 工作参考价值（4 点）

可复用的问题升格框架：Expand/Blur/Visualize 把已有简单 VQA 或搜索日志升级为长链、实体消歧、跨模态证据任务；电商场景可把“这是什么商品”改写成多跳品牌/历史/场景链，并要求买家秀或商品图反搜验证，提升训练数据难度。
难度与质量双筛选：先用直接答案探针过滤参数化捷径，再用专家 rollout 的 Pass@k 评估难度并分池；业务上可先易样本 SFT，再难样本 RL，减少奖励噪声和人工标注成本。
RL 训练中加入行为惩罚与 token 级 OPD：只对失败或不完美轨迹启用在策略蒸馏，教师信号按 reward gap 加权，并指数衰减 λ；这比纯终局奖励更稳定，适合搜索/推荐 Agent 的 RLVR 训练。
监控行为经济性：训练后期 tool call 和 response length 下降但答案奖励不降，说明可先鼓励长程探索、后收紧效率；在线上 Agent 优化中可用同样指标做早停。

Agent | 2026-10-15 | cs.CV | score 8/10

利用视觉语言模型提升网络搜索相关性评估的工业实践

🧭 视觉语言模型 · 搜索相关性自动评估 ★ 深度解读

用微调VLM替代人工标注，结合分层采样，将搜索A/B实验的MDE降低6倍且成本降至近零

📌 工作参考价值（4 点）

用开源VLM（Qwen3-VL-4B）微调替代人工相关性标注，达到94.2%±1级一致性，可将标注成本降低超99%、周期从2天缩至2小时，适合电商/广告搜索中快速评估排序实验。
分层采样设计（按查询兴趣类别×流行度分层）能大幅缩减相关性指标的方差，使MDE降低6倍（从~1.4%到≤0.25%），对检测微小却重要的排序变化极有价值。
保留配对的实验组查询，用配对差异消除个体偏差，使得VLM标签的系统性误差在差值中被抵消，可作为Agent评估或多模态搜索中LLM裁判的校准手段。
多语言微调通过单一多语言VLM支持非英语市场，虽相关性略降但配对差异仍稳健，可复用到跨境电商搜索的自动化评估。

Eval | 2026-08-03 | cs.IR | score 8/10